人类的姿势估计旨在弄清不同场景中所有人的关键。尽管结果有希望,但目前的方法仍然面临一些挑战。现有的自上而下的方法单独处理一个人,而没有不同的人与所在的场景之间的相互作用。因此,当发生严重闭塞时,人类检测的表现会降低。另一方面,现有的自下而上方法同时考虑所有人,并捕获整个图像的全局知识。但是,由于尺度变化,它们的准确性不如自上而下的方法。为了解决这些问题,我们通过整合自上而下和自下而上的管道来探索不同接受场的视觉线索并实现其互补性,提出了一种新颖的双皮线整合变压器(DPIT)。具体而言,DPIT由两个分支组成,自下而上的分支介绍了整个图像以捕获全局视觉信息,而自上而下的分支则从单人类边界框中提取本地视觉的特征表示。然后,从自下而上和自上而下的分支中提取的特征表示形式被馈入变压器编码器,以交互融合全局和本地知识。此外,我们定义了关键点查询,以探索全景和单人类姿势视觉线索,以实现两个管道的相互互补性。据我们所知,这是将自下而上和自上而下管道与变压器与人类姿势估计的变压器相结合的最早作品之一。关于可可和MPII数据集的广泛实验表明,我们的DPIT与最先进的方法相当。
translated by 谷歌翻译
我们开发了WOC,这是一个基于网络摄像头的3D虚拟在线聊天室,用于多人交互,该聊天介绍了用户的3D运动,并实时驱动其单独的3D虚拟化头像。与现有的基于可穿戴设备的解决方案相比,WOC使用单个相机提供方便和低成本的3D运动捕获。为了促进身临其境的聊天体验,WOC提供了高保真虚拟化的化身操纵,这也支持用户定义的字符。使用分布式数据流服务,系统为所有用户提供高度同步的运动和声音。部署在网站上,无需安装,用户可以在https://yanch.cloud上自由体验虚拟在线聊天。
translated by 谷歌翻译
在3D人类姿势估计任务中存在挑战性问题,例如由遮挡和自我封闭引起的性能差。最近,IMU-Vision传感器融合被认为对于解决这些问题很有价值。但是,先前关于IMU和视觉数据的融合的研究(异质性)无法充分利用IMU原始数据或可靠的高级视觉功能。为了促进更有效的传感器融合,在这项工作中,我们提出了一个在参数人运动模型下的框架,称为\ emph {fusepose}。具体而言,我们汇总了IMU或视觉数据的不同信息,并引入了三种独特的传感器融合方法:NaiveFuse,Kinefuse和AdadeEpfuse。 NaiveFuse服务器是一种基本方法,仅融合简化的IMU数据并估计欧几里得空间中的3D姿势。在运动学空间中,KineFuse能够将校准和对齐的IMU原始数据与转换后的3D姿势参数集成在一起。 AdadeEpfuse进一步将这种运动学融合过程发展为一种适应性和端到端的训练方式。进行消融研究的综合实验表明了所提出的框架的合理性和优越性。与基线结果相比,3D人姿势估计的性能得到了提高。在Total Capture数据集上,KineFuse超过了先前的最新技术,该最新仅用于测试8.6 \%。 AdadeEpfuse超过了最新的,该技术使用IMU进行培训和测试的最新时间为8.5 \%。此外,我们通过对人类360万数据集的实验来验证框架的概括能力。
translated by 谷歌翻译
随着经济和社会的增长,企业,尤其是在金融科技行业中,对客户收集,市场营销,反欺诈电话等对客户的需求不断增加。但是,大部分重复性和机械工作都占据了人类代理商的大部分时间,因此企业的设备和劳动力成本正在增加。同时,随着过去几十年来人工智能技术的发展,公司使用大数据和人工智能等新技术来增强呼叫业务的能力已变得非常普遍。智能出站机器人是人工智能技术在出站呼叫业务领域的典型应用。它主要用于与客户交流以实现某个目标。它具有低成本,高额重用和易于合规性的特征,这引起了行业的更多关注。目前,该行业有两种智能出站机器人,但他们俩仍然为改进留下了巨大的空间。其中一种是基于有限状态机,该机器依赖于跳跃条件和基于手动体验的相应节点的配置。这种智能出站机器人也称为基于流的机器人。例如,图\ ref {图:标签}中显示了基于流的机器人的工作模型的示意图。在每个回合中,机器人将用与每个节点相对应的单词回复用户。
translated by 谷歌翻译
从\ emph {nocedended}点云中重建3D几何形状可以使许多下游任务受益。最近的方法主要采用神经网络的神经形状表示,以代表签名的距离字段,并通过无签名的监督适应点云。但是,我们观察到,使用未签名的监督可能会导致严重的歧义,并且通常会导致\ emph {意外}故障,例如在重建复杂的结构并与重建准确的表面斗争时,在自由空间中产生不希望的表面。为了重建一个更好的距离距离场,我们提出了半签名的神经拟合(SSN拟合),该神经拟合(SSN拟合)由半签名的监督和基于损失的区域采样策略组成。我们的关键见解是,签名的监督更具信息性,显然可以轻松确定对象之外的区域。同时,提出了一种新颖的重要性抽样,以加速优化并更好地重建细节。具体而言,我们将对象空间弹并分配到\ emph {sign-newand}和\ emph {sign-unawern}区域,其中应用了不同的监督。此外,我们根据跟踪的重建损失自适应地调整每个体素的采样率,以便网络可以更多地关注复杂的拟合不足区域。我们进行了广泛的实验,以证明SSN拟合在多个数据集的不同设置下实现最新性能,包括清洁,密度变化和嘈杂的数据。
translated by 谷歌翻译
实时视频广播通常需要具有域知识的多种技能和专业知识,以实现多摄像头制作。随着摄像机的数量不断增加,指导现场运动广播现在比以往任何时候都变得更加复杂和挑战。在生产过程中,广播董事需要更加集中,响应,令人满意的知识。为了使董事免于其密集努力,我们开发了一个叫做智能总监的创新自动化体育广播指示系统,旨在模仿典型的人类循环广播过程,以实时自动创建近专业广播节目通过使用一组高级多视图视频分析算法。灵感来自于所谓的“三事”的体育广播建设,我们用一个由三个连续新型组件组成的事件驱动管道构建我们的系统:1)通过建模多视图相关性来检测事件的多视图事件定位2)多视图突出显示检测通过视图选择的视觉重视等级相机视图,3)自动广播调度程序来控制广播视频的生产。为了我们的最佳知识,我们的系统是用于多摄像机运动广播的第一个端到端的自动化指导系统,完全受到体育赛事的语义理解。它还是通过跨视网膜关系建模解决多视图联合事件检测的新问题的第一系统。我们对现实世界的多相机足球数据集进行客观和主观评估,这证明了我们的自动生成视频的质量与人类导向的质量相当。由于其更快的回应,我们的系统能够捕获更快速的快速和短期持续时间,通常由人道持有。
translated by 谷歌翻译
给出了多人的形象,我们的目标是直接向所有人的姿势和形状以及相对深度的形状。然而,在图像中推断一个人的深度,在没有知道其高度的情况下从根本上模糊。当场景包含尺寸非常不同的尺寸时,这尤其有问题。从婴儿到成年人。要解决这个问题,我们需要几件事。首先,我们开发一种新的方法,可在单个图像中推断多人的姿势和深度。虽然以前的工作估计多个人通过推理在图像平面上,但我们的方法称为BEV,增加了额外的虚拟鸟瞰图表示,以明确地理解深度。在图像中的身体中心和深度和深度,通过梳理这些,估计3D身体位置的BEV原因。与现有工作不同,BEV是一种单次射击方法,即端到端可分辨率。其次,身高随着年龄而变化,无法解决深度而不估计图像中的人们的年龄。为此,我们利用3D身体模型空间,让您从婴儿推断为成年人。第三,要训练BEV,我们需要一个新的数据集。具体而言,我们创建一个“相对人类”(RH)数据集,包括图像中人们的年龄标签和相对深度关系。 RH和Agora的广泛实验证明了模型和培训计划的有效性。 BEV优于深度推理,儿童形状估计和鲁布利的现有方法。代码和数据集将用于研究目的。
translated by 谷歌翻译
持续学习旨在从动态数据分布中学习一系列任务。如果不访问旧培训样本,难以确定的旧任务从旧任务转移,这可能是正面或负面的。如果旧知识干扰了新任务的学习,即,前瞻性知识转移是消极的,那么精确地记住旧任务将进一步加剧干扰,从而降低持续学习的性能。相比之下,通过调节学习触发的突触膨胀和突触收敛,生物神经网络可以积极忘记与新经验的学习冲突的旧知识。灵感来自于生物积极的遗忘,我们建议积极忘记限制新任务的学习以努力学习的旧知识。在贝叶斯持续学习的框架下,我们开发了一种名为积极遗忘的新方法,突触扩张 - 收敛(AFEC)。我们的方法动态扩展参数以了解每项新任务,然后选择性地结合它们,这与生物积极遗忘的底层机制正式一致。我们广泛地评估AFEC在各种持续的学习基准上,包括CIFAR-10回归任务,可视化分类任务和Atari加强任务,其中Afec有效提高了新任务的学习,并在插头中实现了最先进的性能 - 游戏方式。
translated by 谷歌翻译
Due to their ability to offer more comprehensive information than data from a single view, multi-view (multi-source, multi-modal, multi-perspective, etc.) data are being used more frequently in remote sensing tasks. However, as the number of views grows, the issue of data quality becomes more apparent, limiting the potential benefits of multi-view data. Although recent deep neural network (DNN) based models can learn the weight of data adaptively, a lack of research on explicitly quantifying the data quality of each view when fusing them renders these models inexplicable, performing unsatisfactorily and inflexible in downstream remote sensing tasks. To fill this gap, in this paper, evidential deep learning is introduced to the task of aerial-ground dual-view remote sensing scene classification to model the credibility of each view. Specifically, the theory of evidence is used to calculate an uncertainty value which describes the decision-making risk of each view. Based on this uncertainty, a novel decision-level fusion strategy is proposed to ensure that the view with lower risk obtains more weight, making the classification more credible. On two well-known, publicly available datasets of aerial-ground dual-view remote sensing images, the proposed approach achieves state-of-the-art results, demonstrating its effectiveness. The code and datasets of this article are available at the following address: https://github.com/gaopiaoliang/Evidential.
translated by 谷歌翻译
Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.
translated by 谷歌翻译